生成你能信任的推荐：生成式推荐中的内容可信度
🧭 生成式推荐 · 可信度约束 ★ 深度解读
University of Technology Sydney · New York University Abu Dhabi
提出 CreGR，通过可信度感知 tokenizer 和离散扩散非对称掩码策略，在保持生成精度的同时显著降低不可信内容曝光
📌 工作参考价值（4 点）
- 在商品/内容 Semantic ID 构建中，把 LLaMA/BERT 内容 embedding 与 SASRec/双塔协同 embedding 拼接后再做 RQ-VAE，可显著降低 token collision；电商场景可将标题、描述与行为 embedding 融合，得到更具辨识度的 SID。
- 如果业务要抑制低质/违规内容又不想牺牲用户兴趣信号，可借鉴「非对称掩码」：离散扩散训练时只降低不可信 item 最后一个 token 的 mask 概率，前序 topical token 保持不动；hard 版直接置 0，soft 版按 token 到可信/不可信簇中心的距离加权。
- 有内容质量/安全标签时，可在 RQ-VAE 损失中加入可信度正则：把隐向量投影到专用子空间，做类内紧凑、类间分离，避免相似主题但真伪不同的内容共享 SID token。
- 评估侧可引入 CR@N（推荐列表可信占比）和 HC@N（HR 与 CR 的平衡指标），作为线上负责任推荐的辅助监控；论文显示 15% 标签噪声下 CR@5 仅轻微下降，方案对标签噪声有一定鲁棒性。
单纯形扩散模型：离散扩散的概率单纯形框架
🧭 离散扩散 · 概率单纯形 ★ 深度解读
Google DeepMind · EPFL · UCL Gatsby
提出在概率单纯形上扩散的 SDM，保留中间不确定性，用 DDIM 式采样统一离散与连续扩散
📌 工作参考价值（4 点）
- 生成式推荐/ Semantic ID 生成中，离散扩散每一步仅采样一个 token 会丢失分布，SDM 用单纯形上的分布作为中间状态，可保留候选 item 的不确定性，减少误差累积；无需 Self-Conditioning 的额外前向。
- 大词表场景（如 item ID 词表很大）可以用 argmax embedding 替代期望 embedding，避免 O(V*d) 矩阵乘法，同时保持推理连续状态；这是工程上可落地的 trick。
- DDIM-like 采样器有 churn 参数，可调节随机性（实验中 κ=1 通常最好），且支持蒸馏到极低步数（8 步），有利于在线生成式推荐的低延迟部署。
- 用 normalized variance ν_t 调度浓度比直接调 c_t 更直观，便于在不同任务上快速调参；自适应时间采样也能提升性能。
通过离散扩散实现 LLM 无损加速：扩散增强自回归模型
🧭 扩散增强 LLM 无损并行解码加速 ★ 深度解读
Institute of Foundation Models · University of Illinois Urbana-Champaign · Cornell Tech · Harvard University · Cerebras Systems
用 LoRA 扩散权重并行 draft + AR rejection 实现无损加速，8B Uno 在吞吐与质量上超过主流 d-LLM 与 speculative 方法
📌 工作参考价值（4 点）
- 可无损加速现有 LLM serving：为线上 AR 模型（如 Qwen/DeepSeek）添加 rank-128 LoRA diffusion adapter，训练只需几 B tokens（公开数据即可），不碰原始权重；与 EAGLE/DFlash 相比共享 KV cache 省显存，高并发 batch 下仍有 1.5× 以上吞吐，适合电商搜索/广告 agent 高并发调用。
- 借鉴 gated LoRA + block-causal attention 训练法：单次前向同时算 teacher/student logits，训练 context length 约 2×L，不随 block size 增大；L_TV loss 比 DCD 更直接地优化 speculative 接受长度，实际可优先选 α=0, β=1 或 L_TV 主导。
- 评估指标要区分 system throughput vs per-request throughput：batch=1 容易高估加速，业务中 agentic 多请求并发和 RL rollout 更应看重最大 batch 吞吐；可采用固定 1K input/8K output 的标准化吞吐测试。
- RL 训练加速：在 SFT 后冻结 diffusion adapter，RL 阶段只更新 AR 权重即可保留约 94% TPF，rollout 加速 40%；推荐/搜索模型若做大规模 RL 微调，可复用此方案缩短训练时间。
扩散生成推荐中的自适应物品协作结构与噪声重调度
🧭 生成式推荐 · 离散扩散 · 噪声重调度 ★ 深度解读
Tongji University · Huawei Technologies Co., Ltd. · Fudan University
在离散扩散生成式推荐中注入物品共现先验与自适应噪声重调度，显著提升协作结构建模与召回精度
📌 工作参考价值（4 点）
- 生成式推荐的 Semantic ID 构建不要只用文本语义；用 item co-occurrence 矩阵 + SVD 提取 64 维协作特征，与文本 embedding 拼接后再 RQ-KMeans 量化。实验表明一阶共现信号足够，LightGCN 无额外提升，工程上简单且省成本。
- 训练 BERT4Rec / 扩散式推荐等 masked 模型时，可以把 uniform mask loss 换成本文的自适应重加权：按 inter-item 距离衰减、intra-item 位置衰减和 item 级 attention 动态给每个 masked token 的 loss 赋权，并 detach 权重防止模型偷懒，能明显提升协作信号学习。
- 推理端加入 SID-validity constrained decoding：每一步根据已 unmask token 维护真实 item 候选集，只在合法 token 子集上重归一化，可避免生成无效 item；可直接迁移到生成式召回、搜索词 token 生成等场景。
- 在扩散式生成推荐与 AR 生成之间选型时，本文显示双向离散扩散在长序列和中频 item 上更稳，配合噪声重调度可超过强 AR baseline；但需评估 beam search + 约束过滤的推理延迟。
离散扩散推理时控制的嵌套序贯蒙特卡洛方法
🧭 离散扩散文本生成推理时控制
University of Amsterdam
提出 NSMC 与 FA-NSMC 用于离散扩散文本生成推理时奖励引导，修正偏差并优于 best-of-n 与 bootstrap SMC
📌 工作参考价值（4 点）
- 若在电商/广告文案、搜索词生成中采用离散扩散语言模型（DDLM），可替换 best-of-n 为 NSMC：best-of-n 易高估 reward，bootstrap SMC 有权重退化，NSMC 能更稳定地按序列级 reward（如点击率、合规性、品牌语调）做推理时引导，无需额外训练。
- FA-NSMC 通过 fully adapted proposal 融入 reward 信息，能提高采样效率；在生成式推荐场景中，若 reward 模型计算昂贵（如 LLM judge 打分），可优先考虑 FA-NSMC 减少粒子数。
- 论文修正了 Feynman-Kac 控制中嵌套 SMC 的 bias 问题：实际工程中若自己实现 SMC 控制，需注意 final estimate 的无偏/有偏处理，避免离线评估指标系统性偏乐观。
- 该方法适用于任意序列级可微/不可微 reward，可作为生成式排序、push 文案、query 推荐的在线后处理层，但需权衡每 token 的 SMC 递归开销。
面向推荐的离散扩散语言模型
🧭 生成式推荐 · 离散扩散语言模型 ★ 深度解读
The Hong Kong Polytechnic University · Tencent Inc.
提出离散扩散替代自回归生成，通过迭代去噪和协同感知 token 化实现更优推荐
📌 工作参考价值（4 点）
- 推荐生成范式转换：在需要生成商品集合或预测下一个交互对象的场景中，考虑用离散扩散替代自回归。扩散的迭代去噪可纠正早期错误，且双向建模更能捕捉 item 间的全局依赖，尤其适用于行为顺序含有噪声的电商推荐。
- 协同感知 tokenization 设计：借鉴 CAST 的多跳随机量化思路，用 GNN 提取用户/商品的协同信号，通过温度调控的多码本随机映射生成离散 token，可保留协同相似性，与 LLM 集成时比单纯 ID 或文本摘要更有效。
- 课程式微调策略：在 LLM 推荐微调中，可先采用 item 级掩蔽对齐（同时掩蔽 token 和文本描述）来建立离散 token 与语义的对应，再过渡到 token 级掩蔽并引入偏好对比损失，逐步从语义理解迁移到推荐任务。
- 投票式推理稳定化：在扩散推理阶段，不丢弃中间预测，而是累积各步 log-prob 进行投票，对稳定位置早停，在不确定性高的位置融合更多信息，可提升推荐生成的鲁棒性和一致性，也可用于 interpretable 推荐或多轮交互式推荐。
离散扩散模型：从分词到生成的统一框架
🧭 离散扩散模型的设计空间统一化
McGill University · Mila - Quebec AI Institute · MBZUAI · University of Cambridge · Salesforce
提出将离散扩散模型视为离散状态空间构建问题的统一框架，揭示设计权衡与未来方向
📌 工作参考价值（4 点）
- 离散扩散模型的并行生成特性可大幅降低推荐列表的推理延迟，适合对实时性要求高的搜索/推荐场景。
- 框架强调的状态空间设计（分词方案、词汇拓扑）直接影响生成质量：在生成式推荐中，物品ID的离散表示方式（如Semantic ID）可类比为“分词”，其设计应仔细考虑语义连续性与扩散过程中的噪声注入方式。
- 统一视角提示了训练目标与推理算法的多种组合（如转移矩阵、掩码状态），从业者可以在物品生成任务中尝试不同配置，以平衡生成多样性与保真度。
- 该框架对扩展性和系统优化的讨论，为大规模推荐系统下离散扩散模型的工程化提供了参考，如KV缓存、批处理策略等。
面向异质性特征生成的自平衡梯度分配，用于CTR预测
🧭 生成式推荐 · 异质性特征生成 · 难度感知 ★ 深度解读
Alibaba Group
提出统一可学习难度信号，同时驱动自平衡损失和难度引导注意力，解决生成式CTR中不同字段重建难度不均衡问题。
📌 工作参考价值（4 点）
- 自平衡损失加权：将每个特征字段视为独立任务，借鉴多任务同方差不确定性加权，损失设为 exp(-s)*loss + s/2，无需手工调权，自动将更多梯度分配给高基数ID、序列等难重建字段，冷启动受益明显。
- 难度引导注意力调制：在HSTU去噪网络中，用 exp(-s/2) 缩放查询向量，抑制收敛后字段的注意力，增强困难字段的信息聚合，与损失加权使用同一 s 信号，保持一致性。
- 统一难度信号：仅需学习每个字段一个标量 s_i，零额外超参数，与现有生成式预训练框架（如 DGenCTR）无缝集成，离线预训练开销极低。
- 冷启动与长尾增益：该方法对稀疏用户和长尾物品提升更大，生产环境中可针对这些分段部署，获得显著业务指标提升（在线 A/B 冷启动用户 CTR +9.2%）。
均匀扩散模型再审视：留一法去噪与吸收态重构
🧭 离散扩散模型优化 · 均匀扩散重参数化
CMAP, Ecole polytechnique · Institute of Foundation Models · Inria, PSL Research University · MBZUAI · EPITA, LRE
揭示了均匀扩散中标准参数化与训练目标的不匹配，提出留一去噪和吸收态重构改进生成质量
📌 工作参考价值（4 点）
- 在离散扩散生成任务（如商品标题生成、评论生成）中，若使用均匀扩散，可直接换用 leave-one-out 参数化训练，无需模型改动即可提升生成质量。
- 吸收态重构将均匀扩散的采样过程分解为掩码扩散式操作，简化了推理实现，同时保留了联合分布，可降低工程复杂度并支持 remasking 策略。
- 提出的 predictor-corrector 采样器和改进的温度采样技巧，无需额外训练，可用于控制生成多样性和质量，适合电商场景下需调控生成结果风格或创造性的应用。
- 结论表明扩散模型性能差距主要来自参数化和采样设计，而非边缘分布选择，这提示在推荐系统的扩散模型（如生成式推荐）中，应更多关注参数化策略而非生硬选择扩散类型。